analytics engineering

Power BI Service Deployment: Refresh & App Setup

BI Brilliance Tamil
by BI Brilliance Tamil அக்டோபர் 14, 2026

 


Introduction

ஒரு Power BI project-ஐ Desktop-ல் build பண்ணி dashboard ready பண்ணிட்டோம் என்றால் project முடிந்துவிட்டது என்று சொல்ல முடியாது.

Real-world environment-ல் இன்னும் சில important questions இருக்கும்:

  • Data எப்படி automatically update ஆகும்?
  • Python script-ஐ manually run பண்ண வேண்டுமா?
  • Snowflake-ல் latest data எப்படி வரும்?
  • Power BI report-ஐ Service-க்கு எப்படி deploy செய்வது?
  • Dataset refresh எப்படி configure செய்வது?
  • Gateway எப்போது தேவைப்படும்?
  • Different users-க்கு different reports அல்லது content எப்படி share செய்வது?

இந்த article-ல் நம்ம Aviation Analytics project-ஐ production-style workflow-க்கு கொண்டு செல்லும் complete deployment flow-ஐ பார்க்கலாம்.

நம்ம overall flow:

OpenSky API → Python → Windows Task Scheduler → Snowflake → dbt → Power BI → Power BI Service → Gateway → Power BI App → Audiences

What You Will Learn

இந்த article-ல்:

  • Python data ingestion-ஐ automate செய்வது
  • Windows Task Scheduler பயன்படுத்துவது
  • Python executable path கண்டுபிடிப்பது
  • Scheduled task configure செய்வது
  • Snowflake data update verify செய்வது
  • Power BI Desktop report publish செய்வது
  • Existing report-ஐ replace/update செய்வது
  • Power BI refresh workflow புரிந்துகொள்வது
  • Gateway configuration பற்றி புரிந்துகொள்வது
  • Power BI App உருவாக்குவது
  • Audiences மூலம் content visibility manage செய்வது
  • Complete end-to-end deployment architecture-ஐ புரிந்துகொள்வது

1. Why Automation Is Required

நம்ம Aviation Analytics project-ல் OpenSky API data தொடர்ந்து change ஆகிக்கொண்டே இருக்கும்.

Python script மூலம் API-லிருந்து data collect செய்து Snowflake-ல் load பண்ணுகிறோம்.

ஆனால் ஒவ்வொரு முறையும் manually Python script run பண்ணுவது practical இல்லை.

அதனால் இந்த step-ஐ automate செய்ய வேண்டும்.

இதற்காக Windows environment-ல் இருக்கும் Task Scheduler பயன்படுத்தலாம்.

Microsoft documentation படி, Task Scheduler ஒரு குறிப்பிட்ட time அல்லது event trigger அடிப்படையில் ஒரு program/task-ஐ automatically execute செய்ய முடியும்.

தேவைப்பட்டால் official Task Scheduler documentation பார்க்கலாம்.

2. Automating Python Data Ingestion

நம்ம Python script-ன் responsibility simple:

OpenSky API → Python → Snowflake

Python script run ஆகும்போது:

  1. OpenSky API-லிருந்து data retrieve ஆகும்.

  2. Python data-வை process செய்யும்.

  3. Snowflake RAW layer-ல் data load ஆகும்.

  4. dbt transformations அடுத்த stage-ல் data-வை analytics-ready format-க்கு கொண்டு செல்லும்.

இப்போது Python script-ஐ manually run செய்வதற்குப் பதிலாக Windows Task Scheduler மூலம் schedule செய்யலாம்.

3. Find the Python Path

Task Scheduler-ல் Python script configure செய்யும்போது Python executable எங்கே இருக்கிறது என்பதை சரியாக கொடுக்க வேண்டும்.

Command Prompt-ல்:

where python

என்று run செய்யலாம்.

இதன் மூலம் system-ல் பயன்படுத்தப்படும் Python executable path கிடைக்கும்.

உதாரணமாக:

C:\...\python.exe

இந்த path-ஐ Task Scheduler configuration-ல் பயன்படுத்தலாம்.

4. Create a Scheduled Task

Windows-ல் Task Scheduler open செய்யுங்கள்.

ஒரு புதிய task create செய்து, அதில் இரண்டு முக்கிய பகுதிகளை configure செய்ய வேண்டும்:

Trigger

Task எப்போது run ஆக வேண்டும்?

உதாரணமாக:

  • Daily
  • Specific time
  • Repeating schedule

Action

எதை execute செய்ய வேண்டும்?

நம்ம case-ல்:

Program: Python executable

Arguments: Python script path

Start in: Project folder

Task Scheduler fundamentally works with a trigger that starts the task and an action that defines what work should be performed.

5. Configure the Python Script

Task Scheduler-ல் Python executable path-ஐ Program/Script field-ல் கொடுக்கலாம்.

அதற்குப் பிறகு Python file-ன் path-ஐ Arguments-ல் கொடுக்கலாம்.

Conceptually:

Program:
python.exe

Arguments:
your_python_script.py

Start in:
your_project_folder

இங்கே ஒரு முக்கியமான point:

Python path மட்டும் சரியாக இருப்பது போதாது.

Working directory மற்றும் script path-ம் correct-ஆ இருக்க வேண்டும்.

குறிப்பாக .env, configuration files அல்லது relative paths பயன்படுத்தும் Python project என்றால் Start in location முக்கியமானது.

6. Test the Scheduled Task

Task create பண்ணியவுடன் schedule வரும் வரை wait செய்ய வேண்டிய அவசியமில்லை.

Task Scheduler-ல் task-ஐ manually Run செய்து test செய்யலாம்.

பிறகு Snowflake-ல் data update ஆகியிருக்கிறதா என்பதை verify செய்ய வேண்டும்.

Flow:

Task Scheduler
      ↓
Python Script
      ↓
OpenSky API
      ↓
Snowflake RAW

இந்த validation step மிகவும் important.

Automation வேலை செய்கிறது என்று assume செய்யாமல், actual Snowflake data update-ஐ verify செய்வது better practice.

7. dbt Transformation

Snowflake RAW data update ஆன பிறகு நம்ம dbt pipeline மூலம் transformation process தொடர்கிறது.

Project architecture:

RAW
 ↓
STAGING
 ↓
MART

இந்த project-ல் Power BI directly raw API data-வை consume செய்வதற்குப் பதிலாக analytics-ready MART layer-ஐ பயன்படுத்துகிறது.

அதனால் downstream Power BI model clean மற்றும் business-focused ஆக இருக்கும்.

தேவைப்பட்டால் official dbt build documentation பார்க்கலாம்.

dbt build models-ஐ run செய்வதுடன் tests, snapshots மற்றும் seeds போன்ற selected resources-ஐயும் build/test செய்ய முடியும்.

8. Power BI Desktop – Pre-Publishing Checklist

Data pipeline ready ஆன பிறகு Power BI Desktop-க்கு வரலாம்.

Report publish செய்வதற்கு முன் சில checks செய்ய வேண்டும்.

Navigation

Report pages சரியான order-ல் இருக்கிறதா?

Filters

Slicers மற்றும் filters expected behaviour-ல் இருக்கிறதா?

Data

Latest data Power BI-ல் available-ஆ இருக்கிறதா?

Refresh

Report refresh properly complete ஆகிறதா?

User Experience

Landing page மற்றும் navigation user-friendly-ஆ இருக்கிறதா?

Production deployment-க்கு முன்னால் இந்த checks செய்வது மிகவும் useful.

9. Set the Landing Page

Power BI report open செய்யும்போது user முதலில் பார்க்க வேண்டிய page-ஐ landing page-ஆ வைத்துக்கொள்ளலாம்.

நம்ம Aviation Analytics project-ல் dashboard-ன் main landing experience மூலம் user-க்கு overall aviation information quickly புரிய வேண்டும்.

ஒரு production report-ல் first page என்பது just another report page இல்லை.

அது user-க்கு ஒரு entry point.

10. Publish Power BI Report to Power BI Service

இப்போது report ready.

Power BI Desktop-ல்:

Home → Publish

என்று சென்று Power BI Service workspace-ஐ select செய்யலாம்.

Microsoft documentation-லும் Power BI Desktop-லிருந்து Publish option மூலம் workspace-க்கு report மற்றும் semantic model publish செய்யும் workflow documented ஆக உள்ளது.

மேலும் Power BI publishing documentation பார்க்கலாம்.

Publish ஆன பிறகு:

Power BI Desktop
       ↓
Power BI Service
       ↓
Workspace
       ↓
Report + Semantic Model

என்று deployment flow இருக்கும்.

11. Replace an Existing Report

Report ஏற்கனவே Power BI Service-ல் இருந்தால், புதிய version publish செய்யும்போது existing content-ஐ replace/update செய்ய வேண்டிய situation வரலாம்.

இதில் ஒரு important practice:

Publish செய்வதற்கு முன் Desktop version-ஐ properly validate செய்ய வேண்டும்.

ஏனெனில் Service-ல் publish செய்யப்பட்ட version தான் end users access செய்யக்கூடிய production version ஆக மாறும்.

Microsoft-ன் publishing documentation-ல் republish/replace scenarios-க்கும் guidance உள்ளது.

12. Power BI Refresh

இப்போது ஒரு முக்கியமான question:

Snowflake data update ஆன பிறகு Power BI data எப்படி update ஆகும்?

இதற்காக Power BI Service-ல் refresh configuration தேவைப்படும்.

Power BI Service-ல் semantic model-க்கு Schedule refresh configure செய்யலாம்.

Microsoft documentation படி, scheduled refresh configuration-ல் gateway connection, data source credentials மற்றும் refresh schedule ஆகியவை முக்கிய பகுதிகள்.

Official Power BI scheduled refresh documentation இங்கே பார்க்கலாம்.

13. Where Does Gateway Come In?

Gateway என்பது Power BI Service மற்றும் certain data sources-க்கு இடையில் connectivity வழங்கும் component.

குறிப்பாக on-premises அல்லது gateway-required sources பயன்படுத்தும்போது இது முக்கியமாகிறது.

Microsoft documentation படி, gateway-ல் data source configure செய்த பிறகு அது scheduled refresh-க்கு பயன்படுத்தப்படலாம்; Power BI Desktop மற்றும் gateway configuration-ல் server/database information match ஆக வேண்டும்.

Official Power BI Gateway data source documentation பார்க்கலாம்.

14. Gateway Configuration – Important Point

Gateway use செய்யும்போது ஒரு common mistake:

Desktop-ல் ஒரு server/database value பயன்படுத்திவிட்டு Gateway-ல் வேறு value கொடுப்பது.

உதாரணமாக Desktop-ல்:

SERVER\INSTANCE

என்றால் Gateway configuration-லும் அதே server/database details match ஆக வேண்டும்.

Microsoft documentation இதை explicitly குறிப்பிடுகிறது.

Multiple data sources இருந்தால், scheduled refresh-க்கு தேவையான ஒவ்வொரு data source-மும் Gateway-ல் available ஆக வேண்டும்.

15. Configure Scheduled Refresh

Power BI Service-ல் semantic model settings-க்கு சென்று refresh schedule configure செய்யலாம்.

Basic flow:

Workspace
   ↓
Semantic Model
   ↓
Settings
   ↓
Gateway / Data Source
   ↓
Credentials
   ↓
Schedule Refresh

Refresh frequency மற்றும் timing business requirement-க்கு ஏற்ப configure செய்யலாம்.

ஒரு important point:

Refresh schedule மட்டும் configure செய்தால் complete pipeline automatically execute ஆகிவிடும் என்று assume செய்யக்கூடாது.

நம்ம architecture-ல் Python ingestion, dbt transformation மற்றும் Power BI refresh ஆகியவை தனித்தனி stages.

அதனால் dependency/order புரிந்து configure செய்வது முக்கியம்.

16. Power BI App

Report workspace-ல் ready ஆன பிறகு end users-க்கு workspace access கொடுப்பதை விட Power BI App மூலம் curated content distribute செய்யலாம்.

Power BI Apps allow report creators to package related dashboards, reports and other content and distribute them to users.

Official Power BI Apps documentation பார்க்கலாம்.

Conceptually:

Workspace
    ↓
Reports
    ↓
Dashboards / Content
    ↓
Power BI App
    ↓
Business Users

இதனால் users-க்கு தேவையான content-ஐ organized experience-ஆ வழங்க முடியும்.

17. App Audiences

ஒரே organization-ல் எல்லா users-க்கும் ஒரே content தேவையில்லை.

உதாரணமாக:

Aviation Team
      ↓
Aviation Reports

Management Team
      ↓
Executive Reports

அல்லது:

Audience 1 → Sales
Audience 2 → Management
Audience 3 → Operations

Power BI Apps-ல் multiple audiences create செய்து, ஒவ்வொரு audience-க்கும் தேவையான content-ஐ show/hide செய்யலாம்.

Official Power BI App Audiences documentation பார்க்கலாம்.

18. Audience Visibility ≠ Data Security

இங்கே ஒரு very important distinction.

ஒரு report அல்லது page-ஐ audience-க்கு hide செய்வது data security mechanism அல்ல.

Microsoft documentation explicitly explains that hiding content does not by itself prevent access to underlying data; security requirements-க்கு RLS/OLS போன்ற semantic-model security mechanisms தேவைப்படலாம்.

அதனால்:

Content visibility
≠
Data security

இந்த difference production Power BI development-ல் மிகவும் important.

19. Complete End-to-End Architecture

இப்போது நம்ம complete Aviation Analytics deployment flow-ஐ பார்க்கலாம்.

                 OpenSky API
                     ↓
                  Python
                     ↓
             Windows Task Scheduler
                     ↓
                Snowflake RAW
                     ↓
                    dbt
                     ↓
              STAGING → MART
                     ↓
                Power BI
                     ↓
             Power BI Service
                     ↓
             Gateway / Refresh
                     ↓
                Power BI App
                     ↓
                 Audiences
                     ↓
               Business Users

இதுதான் ஒரு simple dashboard development-லிருந்து complete analytics deployment workflow-க்கு நம்ம project move ஆகும் point.

20. What We Achieved

இந்த project-ல் நம்ம dashboard மட்டும் build செய்யவில்லை.

நாம் ஒரு complete data-to-analytics workflow உருவாக்கியுள்ளோம்.

Data Ingestion

OpenSky API-லிருந்து Python மூலம் data collect செய்தோம்.

Data Storage

Data-வை Snowflake RAW layer-ல் store செய்தோம்.

Transformation

dbt மூலம் STAGING மற்றும் MART layers உருவாக்கினோம்.

Analytics

Power BI மூலம் analytics dashboard உருவாக்கினோம்.

Automation

Windows Task Scheduler மூலம் Python ingestion-ஐ automate செய்தோம்.

Deployment

Power BI Desktop report-ஐ Power BI Service-க்கு publish செய்தோம்.

Refresh

Power BI refresh மற்றும் Gateway workflow configure செய்தோம்.

Distribution

Power BI App மற்றும் Audiences மூலம் users-க்கு content distribute செய்யும் approach பார்த்தோம்.

Key Takeaways

🔹 Power BI Desktop-ல் dashboard build செய்வது மட்டும் production workflow அல்ல.

🔹 Data ingestion-ஐ automate செய்வது முக்கியம்.

🔹 Windows Task Scheduler மூலம் Python scripts schedule செய்யலாம்.

🔹 Snowflake + dbt architecture-ல் RAW → STAGING → MART approach analytics-ready data உருவாக்க உதவும்.

🔹 Power BI Desktop-லிருந்து Power BI Service-க்கு reports publish செய்யலாம்.

🔹 Scheduled refresh configuration-ல் gateway, credentials மற்றும் schedule ஆகியவை முக்கியமான பகுதிகள்.

🔹 Power BI Apps மூலம் curated content distribute செய்யலாம்.

🔹 App Audiences மூலம் different users-க்கு different content visibility வழங்கலாம்.

🔹 Audience visibility-ஐ actual data security என்று கருதக்கூடாது. Security requirements-க்கு RLS/OLS போன்ற mechanisms தேவைப்படலாம்.

FAQs

1. Why do we need Windows Task Scheduler?

Python ingestion script-ஐ manually run செய்யாமல் குறிப்பிட்ட schedule-ல் automatically execute செய்ய Task Scheduler பயன்படுத்தலாம்.

2. Can Power BI automatically get the latest Snowflake data?

ஆம், supported connection மற்றும் refresh configuration சரியாக அமைக்கப்பட்டிருந்தால் Power BI Service மூலம் refresh workflow configure செய்யலாம்.

3. Is Gateway always required?

இல்லை. Gateway requirement data source மற்றும் connection type-ஐ பொறுத்தது. சில cloud connections-க்கு gateway தேவையில்லாமல் இருக்கலாம்; சில sources-க்கு gateway தேவைப்படலாம்.

4. What is the difference between Workspace and Power BI App?

Workspace என்பது content development மற்றும் collaboration-க்கான இடம். App என்பது finished content-ஐ business users-க்கு curated manner-ல் distribute செய்ய பயன்படும்.

5. Can different users see different content in a Power BI App?

ஆம். Multiple audiences configure செய்து audience-specific content visibility அமைக்கலாம்.

6. Does hiding a report from an audience secure the underlying data?

இல்லை. Content hiding மற்றும் data security இரண்டும் வேறு. Sensitive data access control தேவைப்பட்டால் RLS/OLS போன்ற security mechanisms பயன்படுத்த வேண்டும்.

7. Why should we validate Snowflake after running the scheduled Python task?

Task successfully triggered ஆனதா என்பதை மட்டும் பார்த்தால் போதாது. Actual data Snowflake-ல் update ஆகியிருக்கிறதா என்பதை verify செய்வது end-to-end validation-க்கு முக்கியம்.

8. Why is this workflow useful for a Power BI developer?

Because real-world Power BI development என்பது visuals மற்றும் DAX மட்டும் அல்ல. Data ingestion, transformation, deployment, refresh, gateway, security மற்றும் distribution ஆகியவற்றையும் புரிந்துகொள்வது production-ready BI development-க்கு முக்கியம்.

Conclusion

இந்த project-ன் முக்கியமான learning ஒரு dashboard உருவாக்குவது மட்டும் இல்லை.

Complete Analytics Engineering → Power BI deployment workflow-ஐ புரிந்துகொள்வதுதான்.

நம்ம journey:

OpenSky API → Python → Snowflake → dbt → Power BI → Power BI Service → Refresh → App → Audiences

என்று end-to-end ஆக செல்கிறது.

இதுதான் ஒரு real-world analytics project-ஐ development stage-லிருந்து deployment மற்றும் business consumption stage-க்கு கொண்டு செல்லும் workflow.

👉 இந்த concept-ஐ முழுமையாக Demo உடன் பார்க்க கீழே உள்ள video-வை கண்டிப்பாக பாருங்கள்.

Watch the Video

🎥 இந்த topic-ஐ Step-by-Step Demo-வாக பார்க்க கீழே உள்ள YouTube video-வை பாருங்கள்.



BI Brilliance Tamil

இடுகையிட்டது BI Brilliance Tamil

கருத்துரையிடுக

0 கருத்துகள்